// package main

// import (
// 	"fmt"
// 	"io"
// 	"net/http"
// )

// // func main() {
// // 	resp, err := http.Get("http://www.baidu.com")
// // 	if err != nil {
// // 		fmt.Println("http get error", err)
// // 		return
// // 	}

// // 	body, err := io.ReadAll(resp.Body)
// // 	if err != nil {
// // 		fmt.Println("read error", err)
// // 		return
// // 	}

// //		fmt.Println(string(body))
// //	}
// func main() {
// 	fmt.Println("hello, world")
// 	url := "http://www.baidu.com/"
// 	download((url))
// }

// func download(url string) {
// 	client := &http.Client{}
// 	req, _ := http.NewRequest("GET", url, nil)

// 	//自定义Header
// 	req.Header.Set("User-Agent", "Mozilla/4.0(compatible; MSIE 6.0; Windows NT 5.1)")

// 	//执行GET请求
// 	resp, err := client.Do(req)
// 	if err != nil {
// 		fmt.Println("http get error", err)
// 		return
// 	}

// 	defer resp.Body.Close()
// 	body, err := io.ReadAll(resp.Body)
// 	if err != nil {
// 		fmt.Println("read error	", err)
// 		return
// 	}

// 	fmt.Println(string(body))
// }

package main

import (
	"fmt"
	"net/http"

	"github.com/jackdanger/collectlinks"
)

func main() {
	fmt.Println("Hello, world")
	url := "http://www.baidu.com/"
	download(url)
}

func download(url string) {
	client := http.Client{}
	req, _ := htt.NewRequest("GET", url, nil)
	req.Header.Set("User-Agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)")
	resp, err := client.Do(req)
	if err != nil {
		fmt.Println("http get error", err)
		return
	}

	defer resp.Body.Close()

	links := collectlinks.All(resp.Body)
	for _, link := range links {
		fmt.Println("prase url", link)
	}
}
